Loss function
Neural Network
の予測値と正解データとの誤差を測定する関数
代表的なもの
mean squared error
平均二乗誤差
回帰問題で最も一般的に使用される
外れ値に非常に敏感
GPT
でも利用される
Cross-entropy Loss
交差エントロピー誤差
分類問題で広く使用される
ラベルが0,1に近い場合は安定性が問題になる
Hinge Loss
SVM
において有効
Huber Loss
Label Smoothing
Cross-entropy Loss
と組み合わせて使用される
Overfitting
を防ぐ
Contrastive Loss
Triplet Loss
Multi-Task Loss